Ông tên thật là Phạm Nhương, sinh ngày 10 tháng 1 năm 1924, trong một gia đình khá giả, nguyên quán tại xã Vũ Hồng, huyện Vũ Thư, tỉnh Thái Bình.

Thời trẻ, ông theo học Trường Cao đẳng Nông Lâm tại Hà Nội, sau tốt nghiệp Kỹ sư canh nông. Thời gian học ở Hà Nội, ông tham gia vào các hoạt động của học sinh sinh viên yêu nước và bắt đầu hoạt động bí mật cho Việt Minh từ năm 1944. Tháng 3 năm 1945, ông là cán bộ Hội Thanh niên Cứu quốc. Trong Cách mạng tháng 8, ông được cử vào Ban chỉ huy Đội tự vệ chiến đấu thành Hoàng Diệu, hỗ trợ quần chúng giành chính quyền.

Sau khi chính quyền Việt Nam Dân chủ Cộng hòa được thành lập, ông lần lượt được cử vào nhiều chức vụ quan trọng như Trưởng Ban Tuyên truyền Thành bộ Việt Minh Hà Nội, Bí thư Thành bộ Việt Minh thành Hà Nội (tháng 2 năm 1947), Chính ủy Khu 12[1] (25/7 - 23/8/1947, được thay bởi Phạm Phúc Thống, Chính ủy Trung đoàn 36 (110 cũ) thuộc Khu 12[2]), Chính ủy Khu 11 (từ 23 tháng 8 năm 1947, Khu trưởng là Vương Thừa Vũ)[3] (gồm Hà Nội, Hà Đông, Sơn Tây), Chủ nhiệm Chính trị kiêm Phó Bí thư Trường Sĩ quan Lục quân khóa 4 (tháng 4 năm 1948), Chánh Văn phòng Bộ Quốc phòng kiêm Chánh Văn phòng Tổng Tư lệnh (18 tháng 9 năm 1949, thay ông Nguyễn Thương),[4] Bí thư Văn phòng Quân ủy Trung ương (tháng 10 năm 1949), Đổng lý Văn phòng Bộ Quốc phòng (từ 2/1950)[5] (Phó Đổng lý Văn phòng là Nguyễn Thương), Cục phó rồi Cục trưởng Cục Tác chiến Bộ Tổng Tham mưu (tháng 12 năm 1950). Trong Chiến dịch Điện Biên Phủ, ông tham gia trên cương vị Phái viên đốc chiến Bộ Tổng Tham mưu.

Sau khi Hiệp định Genève, 1954 được ký kết, ông được cử đi học ở Trường lý luận Chính trị trung cao rồi đi học tại Học viện Quân sự cao cấp Liên Xô. Ông được phong quân hàm Đại tá ngày 12 tháng 4 năm 1955.

Sau khi về nước, ông tiếp tục giữ cương vị Cục trưởng Cục Tác chiến Bộ Tổng Tham mưu.